Năm 1946, trong trận phòng ngự ở Đồng Đăng, Lạng Sơn, ông chỉ huy tiểu đội chiếm một mỏm núi ở đầu phố, chặn giữ đối phương cho các đơn vị và cơ quan địa phương Việt Minh rút ra ngoài, đánh lui bốn đợt phản kích của đối phương. Cuối năm đó, một lần nữa ông chỉ huy tiểu đội đánh cản và rút sau cùng ở Cơn Pheo (Lạng Sơn) để trung đội thoát khỏi vòng vây.

Tháng 4 năm 1947, đơn vị ông phục kích đánh đoàn xe quân sự Pháp ở Bó Củng (Lũng Vài). Ông trực tiếp dẫn tiểu đội xung phong dùng lựu đạn diệt xe thiết giáp đối phương. Tháng 9 năm 1947, ông được kết nạp vào Đảng Cộng sản Đông Dương và chính thức trở thành Đảng viên tháng 3 năm 1948.

Đến tháng 8 năm 1949, một lần nữa đơn vị ông phục kích đoàn xe quân sự Pháp ở Lũng Vài. Ông lại dẫn trung đội xung phong, đánh chia cắt đội hình phía sau, gây rối loạn, tạo điều kiện cho đơn vị tiến công diệt nhiều xe và lính Âu Phi.

Tháng 8 năm 1949, Trung đoàn 174, còn gọi là trung đoàn Cao – Bắc – Lạng, ra đời. Ông được điều động làm cán bộ trung đội thuộc Tiểu đoàn 249 của trung đoàn này. Từ tháng 7 năm 1952 đến tháng 1 năm 1953, ông được phân công theo học Khóa 7 Trường Lục quân Việt Nam, rồi trở về được phân công làm Đại đội phó, rồi Đại đội trưởng Trung đoàn 176, Đại đoàn 316.

Tháng 1 năm 1953, đơn vị ông đang di chuyển đội hình để bao vây tiến công Nà Sản (Sơn La) thì bị một đại đội biệt kích Pháp tập kích vào bộ phận quân y phía sau. Ông trên cương vị quản trị trưởng, đã nhanh chóng tập hợp và tổ chức anh em luồn rừng truy kích biệt kích hơn 6 tiếng đồng hồ, diệt 14 biệt kích quân Pháp.

Thu Đông 1953-1954, ông là cán bộ chỉ huy đại đội, đánh nhiều trận tiễu phỉ ở biên giới Việt - Lào, diệt được nhiều toán phỉ, bảo đảm an ninh biên giới, đồng thời vận động 70 lính phỉ buông súng trở về.

Từ tháng 6 năm 1954, ông được thăng làm Tiểu đoàn phó. Ngày 7 tháng 5 năm 1956, ông được Chủ tịch nước Việt Nam Dân chủ Cộng hòa tặng thưởng Huân chương Quân công hạng Ba và danh hiệu Anh hùng lực lượng vũ trang nhân dân. Khi đó, ông là Tiểu đoàn phó, phụ trách Tiểu đoàn trưởng Tiểu đoàn 11, Trung đoàn 176, Đại đoàn 316, Đảng viên Đảng Lao động Việt Nam.

Tháng 3 năm 1957, ông được phân công theo học Trường Quân sự Trung cao Nam Kinh (Trung Quốc). Từ tháng 2 năm 1960, ông được bổ nhiệm là Tiểu đoàn trưởng Tiểu đoàn 2, Lữ đoàn 316, đầu năm 1962, tham gia chiến đấu tại Mặt trận Thượng Lào, hàm Đại úy.

Năm 1964, khi Lữ đoàn 316 được nâng lên cấp sư đoàn, ông được phân công chức vụ Trung đoàn phó. Tháng 10 năm 1965, ông được bổ nhiệm làm Trung đoàn trưởng Trung đoàn 174, Sư đoàn 316, hàm Thiếu tá.